搜索会话中的上下文信息对于捕获用户的搜索意图很重要。已经提出了各种方法来对用户行为序列进行建模，以改善会话中的文档排名。通常，（搜索上下文，文档）对的训练样本在每个训练时期随机采样。实际上，了解用户的搜索意图和判断文档的相关性的困难从一个搜索上下文到另一个搜索上下文有很大差异。混合不同困难的训练样本可能会使模型的优化过程感到困惑。在这项工作中，我们为上下文感知文档排名提出了一个课程学习框架，其中排名模型以易于恐惧的方式学习搜索上下文和候选文档之间的匹配信号。这样一来，我们旨在将模型逐渐指向全球最佳。为了利用正面和负面示例，设计了两个课程。两个真实查询日志数据集的实验表明，我们提出的框架可以显着提高几种现有方法的性能，从而证明课程学习对上下文感知文档排名的有效性。
translated by 谷歌翻译
本文开发了一个贝叶斯图形模型，用于融合不同类型的计数数据。激励的应用是从不同治疗方法收集的各种高维特征的细菌群落研究。在这样的数据集中，社区之间没有明确的对应关系，每个对应都与不同的因素相对应，从而使数据融合具有挑战性。我们引入了一种灵活的多项式高斯生成模型，用于共同建模此类计数数据。该潜在变量模型通过共同的多元高斯潜在空间共同表征了观察到的数据，该空间参数化了转录组计数的多项式概率集。潜在变量的协方差矩阵诱导所有转录本之间共同依赖性的协方差矩阵，有效地融合了多个数据源。我们提出了一种可扩展的可扩展性变异期望最大化（EM）算法，用于推断模型的潜在变量和参数。推断的潜在变量为可视化数据提供了常见的维度降低，而推断的参数则提供了预测性的后验分布。除了证明变异性程序的模拟研究外，我们还将模型应用于细菌微生物组数据集。
translated by 谷歌翻译
基于深度学习的模型占主导地位的生产推荐系统的当前景观。此外，近年来目睹了模型规模的指数增长 - 从谷歌的2016年模型，最新的Facebook的型号有10亿个参数，具有12万亿参数。型号容量的每次跳跃都有显着的质量增强，这使我们相信100万亿参数的时代即将来临。然而，即使在工业规模数据中心内，这些模型的培训也在挑战。这种困难是从训练计算的惊人的异质性继承 - 模型的嵌入层可以包括总模型尺寸的99.99％，这是极其内存密集的;虽然其余的神经网络越来越多地计算密集型。为支持培训此类巨大模式，迫切需要有效的分布式培训系统。在本文中，我们通过仔细共同设计优化算法和分布式系统架构来解决这一挑战。具体而言，为了确保培训效率和训练精度，我们设计一种新型混合训练算法，其中嵌入层和密集的神经网络由不同的同步机制处理;然后，我们构建一个名为Persia的系统（短暂的并行推荐培训系统，其中包含混合加速），以支持这种混合培训算法。理论上的示范和实证研究均达到100万亿参数，以证明了波斯的系统设计和实施。我们将Pensia公开使用（在https://github.com/persiamml/persia），以便任何人都能够以100万亿参数的规模轻松培训推荐模型。
translated by 谷歌翻译
The security of artificial intelligence (AI) is an important research area towards safe, reliable, and trustworthy AI systems. To accelerate the research on AI security, the Artificial Intelligence Security Competition (AISC) was organized by the Zhongguancun Laboratory, China Industrial Control Systems Cyber Emergency Response Team, Institute for Artificial Intelligence, Tsinghua University, and RealAI as part of the Zhongguancun International Frontier Technology Innovation Competition (https://www.zgc-aisc.com/en). The competition consists of three tracks, including Deepfake Security Competition, Autonomous Driving Security Competition, and Face Recognition Security Competition. This report will introduce the competition rules of these three tracks and the solutions of top-ranking teams in each track.
translated by 谷歌翻译
自我监督模型在机器学习（ML）中越来越普遍，因为它们减少了对昂贵标签数据的需求。由于它们在下游应用程序中的多功能性，它们越来越多地用作通过公共API暴露的服务。同时，由于它们输出的向量表示的高维度，这些编码器模型特别容易受到模型窃取攻击的影响。然而，编码器仍然没有防御：窃取攻击的现有缓解策略集中在监督学习上。我们介绍了一个新的数据集推理防御，该防御使用受害者编码器模型的私人培训集将其所有权归因于窃取的情况。直觉是，如果受害者从受害者那里窃取了编码器的培训数据，则在受害者的培训数据上，编码器的输出表示的对数可能比测试数据更高，但如果对其进行了独立培训，则不会。我们使用密度估计模型来计算该对数可能性。作为我们评估的一部分，我们还建议测量被盗编码器的保真度并量化盗窃检测的有效性，而无需涉及下游任务；相反，我们利用相互信息和距离测量值。我们在视觉领域中广泛的经验结果表明，数据集推断是捍卫自我监督模型免受模型窃取的有前途的方向。
translated by 谷歌翻译
拓扑不平衡是由标记节点的不均匀拓扑位置引起的一个特异性不平衡问题，它大大损害了GNN的性能。什么拓扑不平衡意味着如何衡量其对图形学习的影响。在本文中，从全球视图中，我们对监督信息分布的全球视图提供了对拓扑 - 不平衡的新理解，从不足和过度划分的角度来看，这激发了两个定量指标作为测量。鉴于我们的分析，我们提出了一个新颖的位置感知的图形结构学习框架，该框架名为柔和，该框架直接优化了信息传播路径并解决了本质上解决拓扑 - 不平衡问题。我们的关键见解是增强同一类中节点的连接性，以获取更多的监督信息，从而减轻不足和过度的现象。具体而言，我们设计了一个基于锚的位置编码机制，该机制可以更好地结合相对拓扑位置并通过最大化标签影响来增强类内部电感偏置。我们进一步提出了作为边缘权重的阶级冲突度量，这有利于不同节点类别的分离。广泛的实验表明，在不同的数据注释方案中增强GNNS的功率方面，柔和的能力具有较高的潜力和适应性。
translated by 谷歌翻译
在计算机视觉和图形社区中，长期以来，现实的生成面部视频综合一直是追求。但是，现有的视频生成方法倾向于产生具有漂移的面部身份和不自然运动的低质量框架。为了应对这些挑战，我们提出了一个名为stylefacev的原则框架，该框架生产具有生动动作的高保真身份的面部视频。我们的核心洞察力是分解外观并构成信息，并在StyleGan3的潜在空间中重新组装它们，以产生稳定而动态的结果。具体而言，stylegan3为高保真的面部图像生成提供了强大的先验，但潜在空间本质上是纠缠的。通过仔细检查其潜在特性，我们提出了分解和重组设计，从而可以使面部外观和运动的结合结合在一起。此外，依赖时间依赖的模型是建立在分解的潜在特征的基础上的，并示例了能够生成现实且具有时间连贯的面部视频的合理运动序列。特别是，我们的管道对静态图像和高质量视频数据的联合培训策略进行了培训，该策略具有更高的数据效率。广泛的实验表明，我们的框架可以在定性和定量上实现最先进的视频生成。值得注意的是，即使没有高分辨率培训视频，StyleFacev也能够生成现实$ 1024 \ times1024 $面对视频。
translated by 谷歌翻译
链接预测，推断图形的未发现或潜在链接，被广泛应用于现实世界中。通过促进图表的标记链接作为训练数据，已经研究了许多基于深度学习的链接预测方法，与非深度方法相比，它们具有主导的预测准确性。但是，恶意制作的训练图的威胁将在深层模型中留下特定的后门，因此，当一些特定的示例被馈入模型时，它将做出错误的预测，定义为后门攻击。这是当前文献中忽略的重要方面。在本文中，我们促使后门攻击对链接预测的概念，并提出链接 - 背门以揭示现有链接预测方法的训练漏洞。具体而言，链接 - 贝克门将假节点与目标链接的节点结合在一起，形成触发器。此外，它通过目标模型的梯度信息来优化触发器。因此，在后排数据集中训练的链接预测模型将预测与目标状态触发的链接。在五个基准数据集和五个表现良好的链接预测模型上进行的广泛实验表明，链接 - 贝克门都在白色框（即目标模型参数可用）和黑色框下实现了最新的攻击成功率。框（即目标模型参数不可用）方案。此外，我们在防御性情况下作证了攻击，结果表明，链接 - 背部门仍然可以成功构建对表现良好的链接预测方法的成功攻击。代码和数据可在https://github.com/seaocn/link-backdoor上获得。
translated by 谷歌翻译
监督学习可以改善最先进的求解器的组合问题的设计，但是由于指数性最差的复杂性，标记大量组合实例通常是不切实际的。受图像的对比预训练的最新成功的启发，我们对增强设计对布尔满意度问题的对比预训练的影响进行了科学研究。虽然典型的图形对比前训练使用了标签 - 敏捷的增强，但我们的主要见解是，许多组合问题都有良好的态度，这允许设计具有标签的增强功能。我们发现，保留标签的增强对于对比度预训练的成功至关重要。我们表明，我们的表示形式能够达到与完全监督学习的可比测试准确性，而仅使用1％的标签。我们还证明，我们的表示形式更容易转移到看不见的域中的更大问题。我们的代码可在https://github.com/h4duan/contrastive-sat上找到。
translated by 谷歌翻译
时间序列数据收集之间的因果发现可以帮助诊断症状的原因，并希望在发生故障之前防止故障。然而，可靠的因果发现可能非常具有挑战性，特别是当数据采集率变化（即，不均匀的数据采样）时，或在存在丢失的数据点（例如，稀疏数据采样）时。为了解决这些问题，我们提出了一个由两个部分组成的新系统，第一部分填充了具有高斯进程回归的缺失数据，第二部分利用了回声状态网络，即储层计算机（即，用于混沌的类型系统建模）对于因果发现。我们评估我们提出的系统对其他三个现成的因果发现算法的性能，即结构期望 - 最大化，子采样的线性自动回归绝对系数，以及使用田纳西州伊斯曼的传染媒介自回归的多变量格兰杰因果关系化学数据集;我们报告了它们对应的Matthews相关系数（MCC）和接收器操作特征曲线（ROC），并表明所提出的系统优于现有的算法，展示了我们在缺失条目中发现复杂系统中的因果关系的可行性。
translated by 谷歌翻译